Week 3

Motivos para não usar Regressão Linear

A classificação do problema acima é bem simples:

• Yes (1) : É maligno
• No (0) : É benigno

Inicialmente, com uma abordagem simplista, pode-se usar a regressão como solução, conforme a figura 2.

Figura 2

Usa-se um limite em 0.5 separando pela metade o que é maligno e benigno. Aparentemente está tudo bem, mas ao estressar o modelo inserindo um “outlier” essa regressão pode ser alteradam conforme exibida na figura 3.

Figura 3

A idéia de traçar uma regressão linear simples não é a solução adequada visto que essa regressão será sensível ao outlier ou um ponto qualquer no extremo. Note que a linha azul que é a nova regressão após a inserção de novos pontos altera-se. Além disso, a adição de novas observações alterou a classificação de outras, onde se nota nitidamente que há dois grupos.

Por este motivo não se deve usar a Regressão Linear para resolver problemas de classificação.

Lembre-se que para os problemas de regressão os valores de \(h_\theta(x)\) podem assumir valores que são maiores de um ou menores de zero.

Já num problema de classificação os valores de y só assumem dois valores discretos: 0 ou 1. Desta maneira, necessitamos de uma hipótese (\(h_\theta(x)\)) que fique compreendida entre esses dois limites (0 ou 1), onde qualquer valor acima de 0,5 seria 1 e todos abaixo desse valor 0.

Logistic Regression

Nosso objetivo é ter uma hipótese entre 0 e 1.

\[0 \leq h_\theta \leq 1\]

Dessa maneira, devemos “invertar” uma hiótese que sintetize isso.

Lembre-se que a hipótese da regressão linear é conforme a equação 1

\[h_\theta(x) = \theta^T x \tag{1}\] Já para a Regressão Logistica usaremos uma função sobre \(h_\theta(x)\).

\[h_\theta(x) = g(\theta^T x) \tag{2}\] Onde:

• \(g(z) = \frac{1}{1+e^{-z}}\)

Figura 4

A função Sigmoid ou Logística, possui duas retas assintóticas (0 e 1), das quais representam os nossos valores de y.

Interpretação

Figura 5

Deve-se interpretar os resultados da seguinte maneira:

\(h_\theta(x)\) = probabilidade estimada dado que y = 1 com entradas x;

Exemplo:

Se \(x = \begin{bmatrix}x_{0} \\ x_{1}\end{bmatrix} = \begin{bmatrix}1 \\ \text{tamanho do tumor}\end{bmatrix}\). Se \(h_\theta(x) = 0.70\), a probabilidade que o tumor seja maligno é de 70%.

A probabilidade de que y seja (y = 1), dado X e parametrizado por \(\theta\). Que é equacionado como: \(h_\theta(x) = P(y=1|x;\theta)\)

\[P(y=0) + P(y=1) = 1 \tag{3}\]

Exemplo - Linear Decision Boudary

Figura 7

Supõe-se que os valores de \(\theta\) são \(\begin{bmatrix} -3 \\ 1 \\ 1\end{bmatrix}\).

Com base na equação (4), substituímos os valores de \(\theta\).

\[h_\theta(x) = g(\underbrace{\theta_0 + \theta_1 x_1 + \theta_2 x_2}_{\theta^Tx}) \\ \theta^Tx = -3 + x_1 + x_2 \geq 0 \tag{5}\]

Note que o resultado da equação (5) é uma reta, conforme a equação (6) e figura 8.

\[x_1 + x_2 \geq 3 \tag{6}\]

Dessa maneira, divide-se o espaço em duas partes por uma reta que é chamada de decision boundary que é equacionada por \(x_1 + x_2 = 3\). Deve-se enteder o seguinte:

• Para que y seja 1 (\(y = 1\)) a relação deve ser verdadeira para \(x_1 + x_2 \geq 3\);
• Para que y seja 0 (\(y = 0\)) a relação deve ser verdadeira para \(x_1 + x_2 \leq 3\);

Exemplo - Non-linear Decision Boudary

Pode-se usar um decision boundary que não seja linear, tal como um círculo que será explanada neste tópico e elucidado na Figura 9. Note que a hipótese (\(h_\theta(x)\)) possui elementos quadráticos.

Figura 9

Analogamente ao exemplo anterior, vamos supor a escolha dos seguintes \(\theta = \begin{bmatrix} -1 \\ 0 \\ 0 \\ 1 \\1\end{bmatrix}\).

Desta maneira, a hipótese para que y seja 1, será se:

\[-1 + x_1^2 + x_2^2 \geq 0 \\ x_1^2 + x_2^2 \geq 1 \tag{7}\]

Portanto, a minha decision boudary será similar à equação (7), que pode ser resumoda como uma equação de cículo!

\[x_1^2 + x_2^2 = 1 \tag{8}\]

• Fora do círculo: y = 1;
• Dentro do círculo: y = 0.

A figura 10 apresenta o desenho final com o decision boudary.

Figura 10

Observe que o decision boundary é calculado a partir dos parâmetros estabelecidos e não do training set.

Simplified Cost Function and Gradient Descent

A partir das equações (10) e (12), pode-se resumir a equação (12) para uma única equação.

\[\text{ Cost}(h_\theta(x^{(i)}),y^{(i)}) = -y^{(i)}log(h_\theta(x^{(i)}))-(1-y^{(i)})log(1-h_\theta(x^{(i)})) \tag{13}\]

Agora substituindo a equação (13) na equação (10).

\[J(\theta) = -\frac{1}{m} \sum_{i=1}^{m}(y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)})) ) \tag{14}\]

O motivo de escolher essa função \(h_\theta(x)\) é devido ao Método de Máxima Verossimilhança. Usa-se esse método para estimar os parâmetros.

Logo, a partir da nova equação de \(J(\theta)\) o nosso objetivo é minimizar esse valor variando-se o \(\theta\). Note que o novo Cost Function possui as boas características de ser convexo. Portanto, pode-se usar a mesma técnica utilizada para a regressão linear que é o Gradient Descent, conforme elucida a figura 15.

Figura 15

A equação (15) apresenta o cálculo dos \(\theta\).

\[\theta_j = \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta) \tag{15}\]

Substituindo a derivada parcial de \(J(\theta)\), tem-se:

\[\theta_j =\theta_j - \alpha \sum_{i=1}^m{[ (h_{\theta_j}(x^{(i)}) - y^{(i)})x_j^{(i)} ]} \tag{16}\]

Agora representando a equação de maneira matricial, onde j é a quantidade de parâmetros da hipótese.

\[\begin{bmatrix} \theta_0 \\ \theta_1 \\ \vdots \\ \theta_j \end{bmatrix} = \begin{bmatrix} \theta_0 \\ \theta_1 \\ \vdots \\ \theta_j \end{bmatrix} - \alpha \begin{bmatrix} x_0^{(1)} \ \ x_0^{(2)} \ \ \dots \ \ x_0^{(m)} \\ x_1^{(1)} \ \ x_1^{(2)} \ \ \dots \ \ x_1^{(m)} \\ \vdots \\ x_j^{(1)} \ \ x_j^{(2)} \ \ \dots \ \ x_j^{(m)}\end{bmatrix} \begin{Bmatrix}\begin{pmatrix} \begin{bmatrix} h_{\theta_0}(x^{(1)}) \\ h_{\theta_1}(x^{(2)}) \\ \vdots \\ h_{\theta_m}(x^{(m)}) \end{bmatrix} - \begin{bmatrix} y^1 \\ y^2 \\ \vdots \\ y_m \end{bmatrix}\end{pmatrix} \end{Bmatrix} \tag{17}\]

Cost Function

Conforme já elucidado o Overfitting é um problema quando há muitos parâmetros \(\theta\) no modelo, o que gera um bom resultado no que tange o \(J(\theta)\), pois o minimiza, contudo não é bom para generalizar devido à sua grande quantidade de curvas e também não é nada factível que a decision boundary seja neste formato. A Figura 19 apresenta uma comparação entre um mesmo data training e a hipótese adotada.

Figura 19

O problema de otimização ate então utilizado, isto é, a função objetivo é dado pela equação (18).

\[\text{minimize }\theta = \frac{1}{2m} \sum_{i = 1}^{m}{ (h_\theta(x^{(i)})-y^{(i)})^2} \tag{18}\]

Esta equação (18) que busca minimizar a soma dos quadrados será modificada ao inserir dois novos elementos (dois novos \(\theta\)s), mas com uma penalização para que eles \(\theta\)s sejam pequenos. A equação (19) elucida essa alteração.

\[\text{minimize }\theta = \frac{1}{2m} \sum_{i = 1}^{m}\begin{bmatrix} (h_\theta(x^{(i)})-y^{(i)})^2 + 1000\theta_3^3 + 1000\theta_4^4 \end{bmatrix}\tag{19} \\ \\ \theta_3 \approx 0 \\ \theta_4 \approx 0\]

Observe que a função de minimização buscará minimizar os valores de \(\theta_3\) e \(\theta_4\), pois o valor arbitrário 1000 sempre deixará \(J(\theta)\) elevado, para compensar isso os \(\theta\)s serão bem baixos. Isso mitigará os efeitos dos \(\theta_3\) e \(\theta_4\), conforme elucida a Figura 20.

Figura 20

Os conceitos usados para Regularization são:

• Pequenos valores para os parâmetros \(\theta_0, \theta_1, \theta_2, \dots, \theta_n\);
  • Resultarão em hipóteses simples;
  • Menos propenso a ter um overfitting.

Desta maneira, para o exemplo de venda de casa que o data training possuía 100 características (features ou variáveis) e consequentemente outros 100 parâmetros. Há muitos \(\theta\)s e há um problema em qual desses muitos parâmetros/features escolher para a regressão logística. Portanto, usa-se uma técnica que é aplicar o conceito supracitado de penalizar os parâmetros, mas em todos eles (do \(\theta_0\) ao \(\theta_n\)). A nova equação \(J(\theta)\) é mostrada na equação (20).

\[J(\theta) = \frac{1}{2m} \sum_{i =1}^{m} \begin{bmatrix} ( h_\theta(x^{(i)}) - y^{(i)})^2 + \underbrace{ \lambda \sum_{i = 1}^{m} \theta_j^2}_{\text{REGULARIZATION PARAMETER}} \end{bmatrix} \tag{20}\]

Observe que o \(\theta_0\) está fora do somatório (que está em REGULARIZATION PARAMETER) o que significa que ele não será afetado pela penalização. Isso é porque a influência dele estar ou não é tão pequena que não faz diferença nos resultados, além disso a convenção é não inserí-lo no somatório.

O \(\lambda\) é responsável pelo trade-off entre dois objetivos:

• Treinar e obter bons valores de \(\theta\), e;
  • Isso a partir da parcela da soma dos quadrados;
• Manter os parâmetros \(\theta\)s diminutos e evitar o Overfitting;
  • A partir do Regularization Parameter.

A Figura 21 apresenta um gráfico onde há duas curvas.

Figura 21

A linha em azul representa a regressão sem a regularização, ao passo que a linha rosa é aquela que possui a regularização. Note que a nova regressão é bem menos sinuosa, o que reflete mais a realidade e o torna generalista.

Note que poderá ocorrer casos de underfitting se os valores de \(\lambda\) forem demasiadamente elevados, tornando os valores de \(\theta\)s tendendo à zero, sobrando então somente o \(\theta_0\), pois pela convenção ele não entra no Regularization Parameter. Uma outra maneira de se referir a esse tipo de problema é dizer que está com um forte viés ou “preconceito”. A Figura 22 apresenta uma ilustração de como ficaria a regressão (uma reta paralela ao eixo abscissa).

Figura 22

Desta maneira, deve-se escolher o valor de \(\lambda\) cuidadosamente.